Dynamic Resource Management in Clouds: A Probabilistic Approach

Dynamic resource management has become an active area of research in the Cloud Computing paradigm. Cost of resources varies significantly depending on configuration for using them. Hence efficient management of resources is of prime interest to both Cloud Providers and Cloud Users. In this work we suggest a probabilistic resource provisioning approach that can be exploited as the input of a dynamic resource management scheme. Using a Video on Demand use case to justify our claims, we propose an analytical model inspired from standard models developed for epidemiology spreading, to represent sudden and intense workload variations. We show that the resulting model verifies a Large Deviation Principle that statistically characterizes extreme rare events, such as the ones produced by "buzz/flash crowd effects" that may cause workload overflow in the VoD context. This analysis provides valuable insight on expectable abnormal behaviors of systems. We exploit the information obtained using the Large Deviation Principle for the proposed Video on Demand use-case for defining policies (Service Level Agreements). We believe these policies for elastic resource provisioning and usage may be of some interest to all stakeholders in the emerging context of cloud networkingComment: IEICE Transactions on Communications (2012). arXiv admin note: substantial text overlap with arXiv:1209.515

Un modèle de trafic adapté à la volatilité de charge d'un service de vidéo à la demande: Identification, validation et application à la gestion dynamique de ressources.

Dynamic resource management has become an active area of research in the Cloud Computing paradigm. Cost of resources varies significantly depending on configuration for using them. Hence efficient management of resources is of prime interest to both Cloud Providers and Cloud Users. In this report we suggest a probabilistic resource provisioning approach that can be exploited as the input of a dynamic resource management scheme. Using a Video on Demand use case to justify our claims, we propose an analytical model inspired from standard models developed for epidemiology spreading, to represent sudden and intense workload variations. As an essential step we also derive a heuristic identification procedure to calibrate all the model parameters and evaluate the performance of our estimator on synthetic time series. We show how good can our model fit to real workload traces with respect to the stationary case in terms of steady-state probability and autocorrelation structure. We find that the resulting model verifies a Large Deviation Principle that statistically characterizes extreme rare events, such as the ones produced by "buzz effects" that may cause workload overflow in the VoD context. This analysis provides valuable insight on expectable abnormal behaviors of systems. We exploit the information obtained using the Large Deviation Principle for the proposed Video on Demand use-case for defining policies (Service Level Agreements). We believe these policies for elastic resource provisioning and usage may be of some interest to all stakeholders in the emerging context of cloud networking.La gestion dynamique de ressources est un élément clé du paradigme de cloud computing et plus récemment de celui de cloud networking. Dans ce contexte d'infrastructures virtualisées, la réduction des coûts associés à l'utilisation et à la ré-allocation des ressources contraint les opé- rateurs et les utilisateurs de clouds à une gestion rationnelle de celles-ci. Dans ce travail nous proposons une description probabiliste des besoins liée à la volatilité de la charge d'un service de distribution de vidéos à la demande. Cette description peut alors servir de consigne (input) à la provision et à l'allocation dynamique des ressources nécessaires. Notre approche repose sur la construction d'un modèle stochastique inspiré des modèles de Markov standards de propaga- tion épidémiologique, capable de reproduire des variations soudaines et intenses d'activité (buzz). Nous proposons alors une procédure heuristique d'identification du modèle à partir de séries tem- porelles du nombre d'utilisateurs connectés au serveur. Les performances d'estimation de chacun des paramètres du modèle sont évaluées numériquement, et nous vérifions l'adéquation du modèle aux données en comparant les distributions des états stationnaires ainsi que les fonctions d'auto- corrélation des processus. Les propriétés markoviennes de notre modèle garantissent qu'il vérifie un principe de grandes dé- viations permettant de caractériser statistiquement l'ampleur et la durée d'évènements extrêmes et rares tels que ceux produits par les buzzs. C'est cette propriété que nous exploitons pour di- mensionner le volume de ressources (e.g. bande-passante, nombre de serveurs, taille de buffers) à prévoir pour réaliser un bon compromis entre coût de re-déploiement des infrastructures et qualité de service. Cette approche probabiliste de la gestion des ressources ouvre des perspectives sur les politiques de Service Level Agreement adaptées aux clouds et servant au mieux les intérêts des opérateurs de réseaux, de services et de leurs clients

Un framework complet pour la modélisation de la volatilité des charges de travail d'un système de vidéo à la demande - une perspective de gestion probabiliste

There are some new challenges in system administration and design to optimize the resource management for a cloud based application. Some applications demand stringent performance requirements (e.g. delay and jitter bounds), while some applications exhibit bursty (volatile) workloads. This thesis proposes an epidemic model inspired (and continuous time Markov Chain based) framework, which can reproduce workload volatility namely the "buzz effects" (when there is a sudden increase of a content popularity) of a Video on Demand (VoD) system. Two estimation procedures (heuristic and a Markov Chain Monte Carlo (MCMC) based approach) have also been proposed in this work to calibrate the model against workload traces. Obtained model parameters from the calibration procedures reveal some interesting property of the model. Based on numerical simulations, precisions of both procedures have been analyzed, which show that both of them perform reasonably. However, the MCMC procedure outperforms the heuristic approach. This thesis also compares the proposed model with other existing models examining the goodness-of-fit of some statistical properties of real workload traces. Finally this work suggests a probabilistic resource provisioning approach based on a Large Deviation Principle (LDP). LDP statistically characterizes the buzz effects that causeextreme workload volatility. This analysis exploits the information obtained using the LDP of the VoD system for defining resource management policies. These policies may be of some interest to all stakeholders in the emerging context of cloud networking.Il y a de nouveaux défis dans l'administration et dans la conception des systèmes pour optimiser la gestion des ressources des applications basées en nuage Cloud Computing. Certaines applications demandent des performances rigoureuses (par exemple, par rapport aux retards et aux limites de la gigue), tandis que d'autres applications présentent des charges de travail en rafale (volatiles). Cette thèse propose un framework inspiré dans un modèle épidémique (et basé sur des Chaînes de Markov à Temps Continu), qui peut reproduire la volatilité de la charge de travail, à savoir les effets de buzz (quand il y a une augmentation soudaine de la popularité d'un contenu) d'un système de Vidéo à la Demande (VoD). Deux méthodes d'estimation (basés sur des heuristiques et des Chaînes de Markov Monte Carlo - MCMC) ont été également proposées dans ce travail, de façon à ajuster le modèle selon les comportements de la charge de travail. Les paramètres du modèle obtenus à partir des procédures d'étalonnage révèlent des propriétés intéressantes du modèle. Basé sur des simulations numériques, la précision des deux procédures a été analysée, en montrant que les deux présentent des performances raisonnables. Toutefois, la méthode MCMC dépasse la performance de l'approche heuristique. Cette thèse compare également le modèle proposé avec d'autres modèles existants, tout en examinant la qualité de l'ajustement de certaines propriétés statistiques sur des traces réelles de la charge de travail. Finalement, ce travail propose une approche probabiliste de provisionnement des ressources, basée sur le Principe de Grandes Déviations (LDP). LDP caractérise statistiquement les effets de buzz, qui causent de la volatilité extrême de la charge de travail. Cette analyse exploite les informations obtenues en utilisant le LPD du système VoD pour la définition des politiques de gestion des ressources. Ces politiques peuvent être intéressantes pour toutes les acteurs dans le nouveau contexte de l'informatique en nuage

Un framework complet pour la modélisation de la volatilité des charges de travail d'un système de vidéo à la demande - une perspective de gestion probabiliste

There are some new challenges in system administration and design to optimize the resource management for a cloud based application. Some applications demand stringent performance requirements (e.g. delay and jitter bounds), while some applications exhibit bursty (volatile) workloads. This thesis proposes an epidemic model inspired (and continuous time Markov Chain based) framework, which can reproduce workload volatility namely the "buzz effects" (when there is a sudden increase of a content popularity) of a Video on Demand (VoD) system. Two estimation procedures (heuristic and a Markov Chain Monte Carlo (MCMC) based approach) have also been proposed in this work to calibrate the model against workload traces. Obtained model parameters from the calibration procedures reveal some interesting property of the model. Based on numerical simulations, precisions of both procedures have been analyzed, which show that both of them perform reasonably. However, the MCMC procedure outperforms the heuristic approach. This thesis also compares the proposed model with other existing models examining the goodness-of-fit of some statistical properties of real workload traces. Finally this work suggests a probabilistic resource provisioning approach based on a Large Deviation Principle (LDP). LDP statistically characterizes the buzz effects that causeextreme workload volatility. This analysis exploits the information obtained using the LDP of the VoD system for defining resource management policies. These policies may be of some interest to all stakeholders in the emerging context of cloud networking.Il y a de nouveaux défis dans l'administration et dans la conception des systèmes pour optimiser la gestion des ressources des applications basées en nuage Cloud Computing. Certaines applications demandent des performances rigoureuses (par exemple, par rapport aux retards et aux limites de la gigue), tandis que d'autres applications présentent des charges de travail en rafale (volatiles). Cette thèse propose un framework inspiré dans un modèle épidémique (et basé sur des Chaînes de Markov à Temps Continu), qui peut reproduire la volatilité de la charge de travail, à savoir les effets de buzz (quand il y a une augmentation soudaine de la popularité d'un contenu) d'un système de Vidéo à la Demande (VoD). Deux méthodes d'estimation (basés sur des heuristiques et des Chaînes de Markov Monte Carlo - MCMC) ont été également proposées dans ce travail, de façon à ajuster le modèle selon les comportements de la charge de travail. Les paramètres du modèle obtenus à partir des procédures d'étalonnage révèlent des propriétés intéressantes du modèle. Basé sur des simulations numériques, la précision des deux procédures a été analysée, en montrant que les deux présentent des performances raisonnables. Toutefois, la méthode MCMC dépasse la performance de l'approche heuristique. Cette thèse compare également le modèle proposé avec d'autres modèles existants, tout en examinant la qualité de l'ajustement de certaines propriétés statistiques sur des traces réelles de la charge de travail. Finalement, ce travail propose une approche probabiliste de provisionnement des ressources, basée sur le Principe de Grandes Déviations (LDP). LDP caractérise statistiquement les effets de buzz, qui causent de la volatilité extrême de la charge de travail. Cette analyse exploite les informations obtenues en utilisant le LPD du système VoD pour la définition des politiques de gestion des ressources. Ces politiques peuvent être intéressantes pour toutes les acteurs dans le nouveau contexte de l'informatique en nuage

An MCMC Based Procedure for Parameter Estimation of a VoD Workload Model

International audienc

A Complete Framework for Modelling and Generating Workload Volatility of a VoD System

Abstract—We propose a modelling framework, that can be used to reproduce the workload volatility of a Video on Demand (VoD) system. Based on numerical simulations, we evaluate the precision of the estimation procedure we derive to calibrate our parametric model. We also compare its performance to that of other existing models examining the goodness-of-fit of the steady state distribution and of the autocorrelation function of real workload traces. We then give each parameter of the model an interpretation in terms of the workload volatility, that enlightens on some origins of the system dynamics, like the users behaviour